Penalized regression combining the L1 norm and a correlation based penalty

Variable selection in linear regression can be challenging, particularly in situations where a large number of predictors is available with possibly high correlations , such as gene expression data. In this paper we propose a new method called the elastic corr-net to simultaneously select variables and encourage a grouping effect where strongly correlated predictors tend to be in or out of the model together. The method is based on penalized least squares with a penalty function that, like the Lasso penalty, shrinks some coefficients to exactly zero. Additionally, this penalty contains a term which explicitly links strength of penalization to the correlation between predictors. A detailed simulation study in small and high dimensional settings is performed, which illustrates the advantages of our approach in relation to several other possible methods. Finally, we apply the methodology to three real data sets. The key contribution of the elastic corr-net is the identification of setting where the elastic net fails to product good results: in terms of prediction accuracy and estimation error, our empirical study suggests that the elastic corr-net is more adapted than the elastic-net to situations where p ≤ n (the number of variables is less or equal to the sample size). if p n, our method remains competitive and also allows the selection of more than n variables in a new way. La régression pénalisée combinant la norme L 1 et une pénalité tenant compte des corrélations entre les variables Résumé : La sélection de variables peutêtre difficile, en particulier dans les situations o` u un grand nombre de variables explicatives est disponible, avec la présence possible de corrélationsélevées comme dans le cas des données d'expression génétique. Dans cet article, nous proposons une nouvelle méthode de régression linéaire pénalisée, appelée l'elastic corr-net, pour simultanément estimer les paramètres inconnus et sélectionner les variables importantes. De plus, elle encourage un effet de groupe: les variables fortement corrélées ont tendancè a ˆ etre toutes incluses ou toutes exclues du modèle. La méthode est fondée sur les moindres carrés pénalisés avec une pénalité qui, comme la pénalité L 1 , rétrécit certains coefficients exactement vers zéro. En outre, cette pénalité contient un terme qui lie explicitement la force de pénalisationà la corrélation entre les variables explicatives. Pour montrer les avantages de notre approche par rapport aux méthodes les plus concurrentes, uné etude détaillée de simulation est réalisée en moyenne et grande dimension. Enfin, nous …